Rを使って短歌の「詩的度」を測る

誰？

どっちが「詩的」に見える？

アイデア

モチベーション

• 前後2つの文（単語列）のあいだの意味的な隔たりを定量的に評価できたらうれしい
  • 単語列間の非類似度（距離）を計算すればよさそう
  • 非類似度を計算するために、まず、単語列をその意味が反映されたベクトル表現にすることを考える

自然言語処理における埋め込み

単語や文などを、それらの意味を表現するベクトル空間にマッピングする手法、そうした手法で得られるベクトル表現のことを 埋め込み（embeddings） という

• 似た意味の語彙はベクトル空間のなかでも「近い」位置に写像される、「意味の演算」が可能であるといった特徴がある
• 今回はchiVeという単語埋め込みを使いつつ、単語列間の WRD を計算することによって「単語列間の非類似度」を得る

注意点

• 最近は埋め込みを得られるLLMを使って、文脈が考慮された（＝動的な）文ベクトルを直接得ることが多い
  • OpenAIだと text-embedding-3-small とか text-embedding-3-large を使う
• 今回紹介するような「静的な単語埋め込みから文の埋め込み表現を得る」手法は、やり方としてはすでに古い
  • しかし、今回のように大量のマイクロテキストの埋め込みを得る必要がある場合、OpenAIを利用すると相応のAPI利用料がかかりそうなため、それは避けたい

Word Rotator’s Distance

• 2つの文ベクトル（単語ベクトルを縦に積み上げたもの）のあいだの最適輸送を考える
  • 各単語の重み（確率変量）として、各単語ベクトルのL2ノルムを正規化したものを使う
  • このとき、輸送コストとして、単語ベクトル間のコサイン距離¹を使う
• 詳しくは [2004.15003] Word Rotator’s Distance を読んでください

Word Rotator’s Distance

• 超球面上にある各点（単語）の重みについて、対応する文の各点の重みへと過不足のないように移し替えるような対応づけ（回転）を考える
• このとき、回転にかかる輸送コストを、2つの点がベクトル空間のなかでなす角が小さいほど小さく・大きいほど大きくなるように設定し、実際に回転をしたときにかかるコストの総和が最小になるような対応づけを見つける（最適輸送問題を解く）
• 得られたコストの総和の最小値を２つの文の非類似度とする

Word Rotator’s Distance

輸送コスト（costm）は距離行列なので Wasserstein距離としてWRDを計算できる（p=1）

s1 <- runif(6 * 6) |> matrix(6, 6) |> scale(center = FALSE)
s2 <- runif(4 * 6) |> matrix(4, 6) |> scale(center = FALSE)
# コサイン距離
d <- 1 - proxyC::simil(s1, s2, method = "cosine", use_nan = FALSE)
w1 <- (\() { x <- sqrt(rowSums(s1^2)); x / sum(x) })()
w2 <- (\() { x <- sqrt(rowSums(s2^2)); x / sum(x) })()
transport::wasserstein(w1, w2, p = 1, costm = d, prob = TRUE)

[1] 0.1312392

\[\begin{align}\begin{aligned}W_p(a,b)=(\min_{\gamma \in \mathbb{R}_+^{m\times n}} \sum_{i,j}\gamma_{i,j}\|x_i-y_j\|_p)^\frac{1}{p}\\s.t. \gamma 1 = a; \gamma^T 1= b; \gamma\geq 0\end{aligned}\end{align}\]

WRDを計算してみる

全角スペースで区切る場合、五島の短歌のほうが前後の非類似度が大きい

require(apportita)
sudachi <- sudachir::rebuild_tokenizer(mode = "A")
form <- \(x) {
  unlist(sudachir::form(x, type = "normalized", pos = FALSE, instance = sudachi))
}
wrd <- \(conn, s1, s2) {
  purrr::map2_dbl(s1, s2, \(chunk1, chunk2) {
    chunk1 <- form(chunk1)
    chunk2 <- form(chunk2)
    tryCatch(
      apportita::calc_wrd(conn, chunk1, chunk2),
      error = \(e) {
        NA
      }
    )
  }, .progress = FALSE)
}
conn <- magnitude("chive-1.1-mc90-aunit.magnitude")

# 五島の短歌
wrd(conn, "水星をのぞむ明け方", "コンビニのＦＡＸに「故障中」の張り紙")

[1] 0.7111323

# 永井の短歌
wrd(conn, "２月５日夜のコンビニ", "暴力を含めてバランスを取る世界")

[1] 0.646971

WRDを計算してみる

一方で、こういうのだと、区切る位置によってWRDの値が変わってしまう。どうすればいい？

wrd(conn, "ラスボスの手前でセーブするように", "無意味に入るファミリーマート")

[1] 0.6047521

wrd(conn, "ラスボスの手前でセーブするように無意味に入る", "ファミリーマート")

[1] 0.8329863

短歌を機械的に区切る

短歌を人手で2つの文に区切るのではなく、可能なすべての区切りについてWRDを計算し、それらの代表値をその短歌における前後の非類似度とする

strj_split_boundaries <- \(x) {
  stringi::stri_split_boundaries(
    x, # ICU>=73.2でビルドしたstringiが必要
    opts_brkiter = stringi::stri_opts_brkiter(
      locale = "ja@lw=phrase;ld=auto" # auto | loose | normal | strict | anywhere
    )
  )
}
split_kugire <- \(x) {
  strj_split_boundaries(x) |>
    purrr::map(\(elem) {
      len <- length(elem)
      if (len < 2) {
        return(NA_character_)
      } else {
        sapply(seq_len(len - 1), \(i) {
          s1 <- paste0(elem[1:i], collapse = "")
          s2 <- paste0(elem[(i + 1):len], collapse = "")
          paste(s1, s2, sep = "\t")
        })
      }
    })
}

[[1]]
[1] "水槽に\tさかなを容れて飼うようにたぶんこのまま付かない既読"
[2] "水槽にさかなを\t容れて飼うようにたぶんこのまま付かない既読"
[3] "水槽にさかなを容れて\t飼うようにたぶんこのまま付かない既読"
[4] "水槽にさかなを容れて飼うように\tたぶんこのまま付かない既読"
[5] "水槽にさかなを容れて飼うようにたぶん\tこのまま付かない既読"
[6] "水槽にさかなを容れて飼うようにたぶんこのまま\t付かない既読"
[7] "水槽にさかなを容れて飼うようにたぶんこのまま付かない\t既読"
[8] "水槽にさかなを容れて飼うようにたぶんこのまま付かない既\t読"

短歌を機械的に区切る

ふつうにWRDを集計した場合

# A tibble: 4 × 6
  doc_id                                            max median  mean   min     n
  <fct>                                           <dbl>  <dbl> <dbl> <dbl> <int>
1 水星をのぞむ明け方コンビニのFAXに「故障中」の…  0.834  0.625 0.642 0.521     8
2 2月5日夜のコンビニ暴力を含めてバランスを取る世… 0.726  0.634 0.625 0.572     7
3 ラスボスの手前でセーブするように無意味に入るフ… 0.833  0.587 0.637 0.527     6
4 水槽にさかなを容れて飼うようにたぶんこのまま付… 0.972  0.519 0.603 0.475     8

前後ともに5文字以上あるペアだけにしぼった場合

# A tibble: 4 × 6
  doc_id                                            max median  mean   min     n
  <fct>                                           <dbl>  <dbl> <dbl> <dbl> <int>
1 水星をのぞむ明け方コンビニのFAXに「故障中」の…  0.711  0.603 0.624 0.521     5
2 2月5日夜のコンビニ暴力を含めてバランスを取る世… 0.647  0.606 0.608 0.574     4
3 ラスボスの手前でセーブするように無意味に入るフ… 0.833  0.587 0.637 0.527     6
4 水槽にさかなを容れて飼うようにたぶんこのまま付… 0.526  0.515 0.511 0.475     5

前後のWRDが大きい区切り方

字数のある名詞句があったりして前後の語数に偏りがあると、WRDが大きくなってしまう

前後のWRDが小さい区切り方

同じような語句を繰り返し用いている短歌では、前後のWRDが小さくなりやすい

WRDの分布（1）

作者名の後ろの数字はデータセットに含まれるその作者による作品の数

WRDの分布（2）

まとめ